Hugging Face ha lanzado hoy SmolLM2, un conjunto de nuevos modelos de lenguaje compactos que ofrecen un rendimiento impresionante con muchos menos recursos computacionales que los modelos grandes. Los nuevos modelos se lanzan con licencia Apache2.0 y vienen en tres tamaños: 135M, 360M y 1.7B parámetros, lo que los hace adecuados para su implementación en teléfonos inteligentes y otros dispositivos perimetrales con recursos de procesamiento y memoria limitados. El modelo SmolLM2-1B supera al modelo Llama1B de Meta en varias pruebas de referencia clave, especialmente...

2023 fue uno de los años más disruptivos en la historia de la inteligencia artificial, con una gran cantidad de productos de IA generativa llegando a la corriente principal. Continuando su viaje transformador, se espera que la IA generativa pase de ser un tema candente a una aplicación del mundo real en 2024. El campo de la IA generativa está evolucionando rápidamente, dando lugar a una amplia gama de tendencias que impulsarán la adopción de la IA en diversas industrias y su presencia en nuestras vidas diarias. Los modelos de IA generativa están trascendiendo la creación de texto mediante la integración de la multi-modalidad y la multifuncionalidad.

La investigadora Ellie Pavlick afirma que entrenar modelos de lenguaje pequeños es como secuenciar el genoma de una mosca de la fruta en lugar del genoma humano. Los investigadores de Microsoft han obtenido resultados notables entrenando modelos de lenguaje pequeños con cuentos infantiles. En comparación con los modelos de lenguaje grandes, los modelos pequeños se entrenan más rápido y sus mecanismos internos son más fáciles de comprender. Este método ayuda a entrenar modelos más grandes y a analizar su comportamiento. Los resultados de la investigación muestran que después del entrenamiento con cuentos infantiles, los modelos de lenguaje pequeños pueden narrar historias coherentes y gramaticalmente correctas.